AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話

西澤です。みんな大好きAWS　CLIですが、このようなオプションがあることは把握していたものの、今更ながら試してみたところ、期待していた以上に良い結果が出たのでご紹介したいと思います。

AWS CLI S3 Configurationとは

AWS CLIには、S3コマンド専用にファイル転送オプションを指定することができます。今回試したのは、下記のオプションです。max_concurrent_requestsが特に実行時間に大きく影響がありそうです。

オプション	デフォルト	説明	備考
max_concurrent_requests	10	最大同時リクエスト数	実行時間、CPU使用率、ネットワーク帯域に影響あり
max_queue_size	1000	最大タスクキュー数	メモリ使用量に影響あり

設定方法は、公式ドキュメントの通りですが、~/.aws/configに直接記載するか、aws configure setコマンドを利用して設定します。

$ cat ~/.aws/config
[profile default]
s3 =
max_concurrent_requests = 20
max_queue_size = 10000

$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure get default.s3.max_concurrent_requests
20

$ aws configure set default.s3.max_queue_size 10000
$ aws configure get default.s3.max_queue_size
10000

• AWS CLI S3 Configuration — AWS CLI 1.11.80 Command Reference

検証環境

今回は余裕のあるインスタンスでテストを行ってみました。また、サイズの大きなファイルが多い場合には、multipart_thresholdやmultipart_chunksizeオプションも調整する必要がありそうですが、今回はaws s3コマンドで取り扱うファイル数が多い場合のパフォーマンスについて調べました。念の為prefixを分散させた8KBのファイルを9999個用意して、"aws s3 rm"と"aws s3 sync"を繰り返して性能を確認してみました。

• Amazon Linux AMI 2017.03.0.20170417 x86_64 HVM GP2
• c4.xlarge

デフォルト設定のままでの実行結果

以下のような結果となりました。

[2017/05/02 07:48:49] aws configure get default.s3.max_concurrent_requests
10
[2017/05/02 07:48:49] aws configure get default.s3.max_queue_size
1000
[2017/05/02 07:48:49] aws s3 rm s3://aws-cli-s3-sync-test-bucket/ --recursive --quiet

real 2m9.117s
user 1m2.212s
sys 0m10.952s
[2017/05/02 07:50:58] aws s3 sync /home/ec2-user/data/ s3://aws-cli-s3-sync-test-bucket/ --quiet

real 6m41.344s
user 3m3.184s
sys 0m12.944s

念の為、サーバのリソース状況も一部取得しておきました。以下は、topコマンドとvmstatコマンドの結果です。

top - 07:52:10 up 51 min, 3 users, load average: 0.44, 0.32, 0.23
Tasks: 105 total, 1 running, 104 sleeping, 0 stopped, 0 zombie
Cpu(s): 10.5%us, 0.6%sy, 0.0%ni, 88.6%id, 0.0%wa, 0.0%hi, 0.1%si, 0.2%st
Mem: 7660576k total, 492220k used, 7168356k free, 19936k buffers
Swap: 0k total, 0k used, 0k free, 237156k cached

[ 2017/05/02 07:51:40 ] procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
[ 2017/05/02 07:51:40 ] r b swpd free buff cache si so bi bo in cs us sy id wa st
[ 2017/05/02 07:51:40 ] 2 0 0 7176104 19936 237156 0 0 0 0 13297 13359 10 1 89 0 0
[ 2017/05/02 07:51:41 ] 0 0 0 7176228 19936 237156 0 0 0 0 13731 13623 11 1 88 0 0
[ 2017/05/02 07:51:42 ] 0 0 0 7174400 19936 237156 0 0 0 0 13275 13160 9 1 90 0 0
[ 2017/05/02 07:51:43 ] 1 0 0 7174276 19936 237156 0 0 0 0 12157 12211 9 1 90 0 0
[ 2017/05/02 07:51:44 ] 0 0 0 7174276 19936 237156 0 0 0 0 13176 13048 10 1 89 0 0
[ 2017/05/02 07:51:45 ] 1 0 0 7174028 19936 237156 0 0 0 0 15778 15887 10 1 89 0 0
[ 2017/05/02 07:51:46 ] 0 0 0 7174028 19936 237156 0 0 0 0 11540 11684 9 1 90 0 0
[ 2017/05/02 07:51:47 ] 0 0 0 7173316 19936 237156 0 0 0 0 13673 13710 11 1 88 0 0
[ 2017/05/02 07:51:48 ] 0 0 0 7173220 19936 237156 0 0 0 0 12876 13034 10 1 89 0 0
[ 2017/05/02 07:51:49 ] 0 0 0 7173128 19936 237156 0 0 0 0 14214 14403 11 1 89 0 0
[ 2017/05/02 07:51:50 ] 0 0 0 7172076 19936 237156 0 0 0 0 14109 14284 11 0 89 0 1
[ 2017/05/02 07:51:51 ] 0 0 0 7171952 19936 237156 0 0 0 0 12900 13026 11 2 87 0 0
[ 2017/05/02 07:51:52 ] 1 0 0 7171764 19936 237156 0 0 0 0 15625 15844 10 1 89 0 0
[ 2017/05/02 07:51:53 ] 0 0 0 7171952 19936 237156 0 0 0 0 14987 14683 8 1 90 0 0
[ 2017/05/02 07:51:54 ] 0 0 0 7172044 19936 237156 0 0 0 0 14765 14908 12 1 87 0 0
[ 2017/05/02 07:51:55 ] 0 0 0 7171704 19936 237156 0 0 0 0 12651 12670 9 1 90 0 0
[ 2017/05/02 07:51:56 ] 2 0 0 7171516 19936 237156 0 0 0 0 15197 15489 10 1 88 0 0
[ 2017/05/02 07:51:57 ] 0 0 0 7171144 19936 237156 0 0 0 0 11379 11387 8 0 92 0 0
[ 2017/05/02 07:51:58 ] 0 0 0 7170896 19936 237156 0 0 0 0 15090 14876 11 1 87 0 0
[ 2017/05/02 07:51:59 ] 0 0 0 7170896 19936 237156 0 0 0 0 12253 12292 8 1 91 0 0
[ 2017/05/02 07:52:00 ] 0 0 0 7170648 19936 237156 0 0 0 0 14063 13902 11 1 88 0 0

S3オプションを変更して実行した結果（デフォルトの10倍）

2つのオプションをデフォルトの10倍にして試してみたところ、7m近くかかっていたsyncがなんと2mかからずに終わりました。

[2017/05/02 07:58:27] aws configure get default.s3.max_concurrent_requests
100
[2017/05/02 07:58:27] aws configure get default.s3.max_queue_size
10000
[2017/05/02 08:01:37] aws s3 rm s3://aws-cli-s3-sync-test-bucket/ --recursive --quiet

real 1m13.080s
user 1m49.032s
sys 0m19.848s
[2017/05/02 08:02:50] aws s3 sync /home/ec2-user/data/ s3://aws-cli-s3-sync-test-bucket/ --quiet

real 1m55.279s
user 4m4.736s
sys 0m30.452s

そもそもtimeコマンドの結果において、"user"が"real"より大きくなることがある、ということを把握していませんでしたが、マルチスレッドで処理されるプログラムでは、このような結果になるそうです。ロードアベレージも2〜3を示すようになり、CPU負荷がかなり大きくなっていることがわかります。他のサービスと相乗りした環境でここまでやるのは危険ですが、とにかく急ぎでファイル転送をしたい、というときには積極的に使うと良さそうです。

top - 08:02:22 up 1:01, 3 users, load average: 3.45, 2.12, 1.02
Tasks: 105 total, 1 running, 104 sleeping, 0 stopped, 0 zombie
Cpu(s): 22.7%us, 3.8%sy, 0.0%ni, 71.9%id, 0.0%wa, 0.0%hi, 0.1%si, 1.6%st
Mem: 7660576k total, 572928k used, 7087648k free, 20108k buffers
Swap: 0k total, 0k used, 0k free, 237164k cached

[ 2017/05/02 08:02:10 ] procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
[ 2017/05/02 08:02:10 ] r b swpd free buff cache si so bi bo in cs us sy id wa st
[ 2017/05/02 08:02:10 ] 5 0 0 7099004 20108 237164 0 0 0 0 116551 124922 20 6 72 0 2
[ 2017/05/02 08:02:11 ] 2 0 0 7096668 20108 237164 0 0 0 0 109249 115986 27 9 63 0 2
[ 2017/05/02 08:02:12 ] 5 0 0 7096352 20108 237164 0 0 0 0 116125 124426 22 5 71 0 2
[ 2017/05/02 08:02:13 ] 5 0 0 7095220 20108 237164 0 0 0 20 48486 50969 21 2 76 0 1
[ 2017/05/02 08:02:14 ] 1 0 0 7093184 20108 237164 0 0 0 0 102217 107928 33 6 59 0 2
[ 2017/05/02 08:02:15 ] 27 0 0 7091164 20108 237164 0 0 0 0 92784 97135 39 6 53 0 1
[ 2017/05/02 08:02:16 ] 2 0 0 7092300 20108 237164 0 0 0 0 79580 83405 44 4 51 0 1
[ 2017/05/02 08:02:17 ] 3 0 0 7091028 20108 237164 0 0 0 0 94618 100140 35 6 58 0 2
[ 2017/05/02 08:02:18 ] 1 0 0 7088328 20108 237164 0 0 0 0 107055 113728 29 7 62 0 2
[ 2017/05/02 08:02:19 ] 2 0 0 7088128 20108 237164 0 0 0 0 114145 122381 22 5 71 0 2
[ 2017/05/02 08:02:20 ] 0 0 0 7088040 20108 237164 0 0 0 0 64698 69115 14 2 83 0 1
[ 2017/05/02 08:02:21 ] 9 0 0 7087680 20108 237164 0 0 0 0 88598 94163 34 4 60 0 2
[ 2017/05/02 08:02:22 ] 2 0 0 7087684 20108 237164 0 0 0 0 114224 121950 24 5 69 0 2
[ 2017/05/02 08:02:23 ] 4 0 0 7084824 20108 237164 0 0 0 4 103335 109253 32 6 60 0 2
[ 2017/05/02 08:02:24 ] 4 0 0 7084452 20108 237164 0 0 0 0 106940 113736 25 6 67 0 2
[ 2017/05/02 08:02:25 ] 3 0 0 7085948 20108 237164 0 0 0 0 115580 122544 22 6 70 0 2
[ 2017/05/02 08:02:26 ] 4 0 0 7086148 20108 237164 0 0 0 0 112407 120005 24 6 68 0 2
[ 2017/05/02 08:02:27 ] 13 0 0 7089528 20108 237164 0 0 0 0 52096 55161 12 2 85 0 1
[ 2017/05/02 08:02:28 ] 3 0 0 7089024 20112 237164 0 0 0 4 104077 110626 30 8 61 0 2
[ 2017/05/02 08:02:29 ] 8 0 0 7089024 20112 237164 0 0 0 0 117652 126884 18 5 75 0 2
[ 2017/05/02 08:02:30 ] 3 0 0 7089024 20112 237164 0 0 0 0 115954 124271 22 6 70 0 2

S3オプションを変更して実行した結果（デフォルトの100倍）

今度はデフォルトの100倍にしてみたのですが、これはやり過ぎのようです。あまり大きくは改善しませんでした。

[2017/05/02 08:09:41] aws configure get default.s3.max_concurrent_requests
1000
[2017/05/02 08:09:41] aws configure get default.s3.max_queue_size
100000
[2017/05/02 08:09:41] aws s3 rm s3://aws-cli-s3-sync-test-bucket/ --recursive --quiet

real 1m12.672s
user 1m49.636s
sys 0m20.716s
[2017/05/02 08:10:54] aws s3 sync /home/ec2-user/data/ s3://aws-cli-s3-sync-test-bucket/ --quiet

real 1m55.939s
user 4m9.896s
sys 0m31.080s

性能データにもほぼ大きな変化はありませんでした。どこにボトルネックがあるかまでは調査していませんが、ただ大きくするだけでも意味が無いことは確認できました。

top - 08:11:59 up 1:11, 3 users, load average: 3.33, 3.27, 2.14
Tasks: 105 total, 1 running, 104 sleeping, 0 stopped, 0 zombie
Cpu(s): 48.8%us, 6.1%sy, 0.0%ni, 43.4%id, 0.0%wa, 0.0%hi, 0.6%si, 1.1%st
Mem: 7660576k total, 722128k used, 6938448k free, 20212k buffers
Swap: 0k total, 0k used, 0k free, 237164k cached

[ 2017/05/02 08:11:37 ] procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
[ 2017/05/02 08:11:37 ] r b swpd free buff cache si so bi bo in cs us sy id wa st
[ 2017/05/02 08:11:37 ] 3 0 0 6943668 20204 237164 0 0 0 0 77785 84459 50 6 43 0 1
[ 2017/05/02 08:11:38 ] 4 0 0 6943272 20204 237164 0 0 0 0 75168 81444 50 6 43 0 1
[ 2017/05/02 08:11:39 ] 4 0 0 6942400 20204 237164 0 0 0 0 80213 87936 48 7 44 0 1
[ 2017/05/02 08:11:40 ] 9 0 0 6941684 20204 237164 0 0 0 0 79141 85584 49 7 43 0 1
[ 2017/05/02 08:11:41 ] 4 0 0 6940176 20204 237164 0 0 0 0 78742 85576 49 6 44 0 1
[ 2017/05/02 08:11:42 ] 15 0 0 6940064 20204 237164 0 0 0 0 77918 84760 49 7 43 0 1
[ 2017/05/02 08:11:43 ] 4 0 0 6940064 20204 237164 0 0 0 0 80229 87549 47 6 45 0 1
[ 2017/05/02 08:11:44 ] 2 0 0 6940292 20204 237164 0 0 0 0 77897 84741 50 6 43 0 1
[ 2017/05/02 08:11:45 ] 6 0 0 6938184 20204 237164 0 0 0 0 70815 76438 47 7 45 0 1
[ 2017/05/02 08:11:46 ] 9 0 0 6937904 20204 237164 0 0 0 0 69902 75918 54 5 40 0 1
[ 2017/05/02 08:11:47 ] 3 0 0 6937748 20204 237164 0 0 0 0 76731 83184 50 5 43 0 1
[ 2017/05/02 08:11:48 ] 5 0 0 6937780 20204 237164 0 0 0 0 77797 84806 51 6 41 0 1
[ 2017/05/02 08:11:49 ] 5 0 0 6936880 20204 237164 0 0 0 0 77258 84264 50 6 43 0 1
[ 2017/05/02 08:11:50 ] 3 0 0 6936848 20204 237164 0 0 0 0 79650 86644 48 7 44 0 1
[ 2017/05/02 08:11:51 ] 9 0 0 6936320 20204 237164 0 0 0 0 77429 83948 49 6 43 0 1
[ 2017/05/02 08:11:52 ] 2 0 0 6935608 20204 237164 0 0 0 0 78056 84699 49 6 44 0 1
[ 2017/05/02 08:11:53 ] 2 0 0 6935392 20204 237164 0 0 0 0 79062 86064 49 7 44 0 1
[ 2017/05/02 08:11:54 ] 12 0 0 6937016 20204 237164 0 0 0 0 69693 74490 48 6 44 0 1
[ 2017/05/02 08:11:55 ] 10 0 0 6936748 20204 237164 0 0 0 0 73804 80068 51 6 42 0 1
[ 2017/05/02 08:11:56 ] 1 0 0 6938976 20204 237164 0 0 0 0 78895 85601 48 7 44 0 1
[ 2017/05/02 08:11:57 ] 4 0 0 6938792 20212 237164 0 0 0 12 78680 85892 49 7 43 0 1

まとめ

並列度を高めてaws s3コマンドのパフォーマンスを上げたいときには、非常に効果の高いオプションであることが確認できました。ご利用の際には、環境に合わせた形で調整しつつご利用いただければと思います。

どこかの誰かのお役に立てば嬉しいです。